模拟逼真的传感器是自主系统数据生成的挑战,通常涉及精心手工的传感器设计,场景属性和物理建模。为了减轻这一点,我们引入了一条管道,用于对逼真的激光雷达传感器进行数据驱动的模拟。我们提出了一个模型,该模型可以在RGB图像和相应的LIDAR功能(例如Raydrop或每点强度)之间直接从真实数据集中进行映射。我们表明,我们的模型可以学会编码逼真的效果,例如透明表面上的掉落点或反射材料上的高强度回报。当应用于现成的模拟器软件提供的天真播放点云时,我们的模型通过根据场景的外观预测强度和删除点来增强数据,以匹配真实的激光雷达传感器。我们使用我们的技术来学习两个不同的LIDAR传感器的模型,并使用它们相应地改善模拟的LiDAR数据。通过车辆细分的示例任务,我们表明通过我们的技术增强模拟点云可以改善下游任务性能。
translated by 谷歌翻译
部分微分方程(PDE)参见在科学和工程中的广泛使用,以将物理过程的模拟描述为标量和向量场随着时间的推移相互作用和协调。由于其标准解决方案方法的计算昂贵性质,神经PDE代理已成为加速这些模拟的积极研究主题。但是,当前的方法并未明确考虑不同字段及其内部组件之间的关系,这些关系通常是相关的。查看此类相关场的时间演变通过多活动场的镜头,使我们能够克服这些局限性。多胎场由标量,矢量以及高阶组成部分组成,例如双分数和三分分射线。 Clifford代数可以描述它们的代数特性,例如乘法,加法和其他算术操作。据我们所知,本文介绍了此类多人表示的首次使用以及Clifford的卷积和Clifford Fourier在深度学习的背景下的转换。由此产生的Clifford神经层普遍适用,并将在流体动力学,天气预报和一般物理系统的建模领域中直接使用。我们通过经验评估克利福德神经层的好处,通过在二维Navier-Stokes和天气建模任务以及三维Maxwell方程式上取代其Clifford对应物中常见的神经PDE代理中的卷积和傅立叶操作。克利福德神经层始终提高测试神经PDE代理的概括能力。
translated by 谷歌翻译
Existing federated classification algorithms typically assume the local annotations at every client cover the same set of classes. In this paper, we aim to lift such an assumption and focus on a more general yet practical non-IID setting where every client can work on non-identical and even disjoint sets of classes (i.e., client-exclusive classes), and the clients have a common goal which is to build a global classification model to identify the union of these classes. Such heterogeneity in client class sets poses a new challenge: how to ensure different clients are operating in the same latent space so as to avoid the drift after aggregation? We observe that the classes can be described in natural languages (i.e., class names) and these names are typically safe to share with all parties. Thus, we formulate the classification problem as a matching process between data representations and class representations and break the classification model into a data encoder and a label encoder. We leverage the natural-language class names as the common ground to anchor the class representations in the label encoder. In each iteration, the label encoder updates the class representations and regulates the data representations through matching. We further use the updated class representations at each round to annotate data samples for locally-unaware classes according to similarity and distill knowledge to local models. Extensive experiments on four real-world datasets show that the proposed method can outperform various classical and state-of-the-art federated learning methods designed for learning with non-IID data.
translated by 谷歌翻译
在数据驱动的社会的时代,物联网(IoT)设备的无处不在,存储在不同地方的大量数据,分布式学习已获得了很多吸引力,但是,假设具有独立和相同分布的数据(IID)跨设备。在放松这种假设的同时,由于设备的异质性质,无论如何都无法实现现实,但Federated Learnation(FL)已成为一种保护隐私的解决方案,可以训练与大量设备分布的非IID数据进行协作模型。但是,由于不受限制的参与,打算破坏FL模型的恶意设备(攻击者)的出现是不可避免的。在这项工作中,我们旨在确定此类攻击者并减轻对模型的影响,从本质上讲,在双向标签与勾结的翻转攻击的情况下。我们通过利用本地模型之间的相关性来提出两种基于最小生成树和k-densest图的理论算法。即使攻击者最多占所有客户的70%,我们的FL模型也会消除攻击者的影响力,而先前的作品不能负担超过50%的客户作为攻击者。通过在两个基准数据集(即Mnist和Fashion-Mnist)的实验中确定我们算法的有效性,并具有压倒性的攻击者。我们使用准确性,攻击成功率和早期检测回合建立了算法优于现有算法的优势。
translated by 谷歌翻译
制作对抗性攻击的大多数方法都集中在具有单个主体对象的场景上(例如,来自Imagenet的图像)。另一方面,自然场景包括多个在语义上相关的主要对象。因此,探索设计攻击策略至关重要,这些攻击策略超出了在单对象场景上学习或攻击单对象受害者分类器。由于其固有的属性将扰动向未知模型的强大可传递性强,因此本文介绍了使用生成模型对多对象场景的对抗性攻击的第一种方法。为了代表输入场景中不同对象之间的关系,我们利用开源的预训练的视觉语言模型剪辑(对比语言图像 - 预训练),并动机利用语言中的编码语义来利用编码的语义空间与视觉空间一起。我们称这种攻击方法生成对抗性多对象场景攻击(GAMA)。 GAMA展示了剪辑模型作为攻击者的工具的实用性,以训练可强大的扰动发电机为多对象场景。使用联合图像文本功能来训练发电机,我们表明GAMA可以在各种攻击环境中制作有效的可转移扰动,以欺骗受害者分类器。例如,GAMA触发的错误分类比在黑框设置中的最新生成方法高出约16%,在黑框设置中,分类器体系结构和攻击者的数据分布都与受害者不同。我们的代码将很快公开提供。
translated by 谷歌翻译
人类在整个生命周期中不断学习,通过积累多样化的知识并为未来的任务进行微调。当出现类似目标时,神经网络会遭受灾难性忘记,在学习过程中跨顺序任务跨好任务的数据分布是否不固定。解决此类持续学习(CL)问题的有效方法是使用超网络为目标网络生成任务依赖权重。但是,现有基于超网的方法的持续学习性能受到整个层之间权重的独立性的假设,以维持参数效率。为了解决这一限制,我们提出了一种新颖的方法,该方法使用依赖关系保留超网络来为目标网络生成权重,同时还保持参数效率。我们建议使用基于复发的神经网络(RNN)的超网络,该网络可以有效地生成层权重,同时允许在它们的依赖关系中。此外,我们为基于RNN的超网络提出了新颖的正则化和网络增长技术,以进一步提高持续的学习绩效。为了证明所提出的方法的有效性,我们对几个图像分类持续学习任务和设置进行了实验。我们发现,基于RNN HyperNetworks的建议方法在所有这些CL设置和任务中都优于基准。
translated by 谷歌翻译
Smart Sensing提供了一种更轻松,方便的数据驱动机制,用于在建筑环境中监视和控制。建筑环境中生成的数据对隐私敏感且有限。 Federated Learning是一个新兴的范式,可在多个参与者之间提供隐私的合作,以进行模型培训,而无需共享私人和有限的数据。参与者数据集中的嘈杂标签降低了表现,并增加了联合学习收敛的通信巡回赛数量。如此大的沟通回合需要更多的时间和精力来训练模型。在本文中,我们提出了一种联合学习方法,以抑制每个参与者数据集中嘈杂标签的不平等分布。该方法首先估计每个参与者数据集的噪声比,并使用服务器数据集将噪声比归一化。所提出的方法可以处理服务器数据集中的偏差,并最大程度地减少其对参与者数据集的影响。接下来,我们使用每个参与者的归一化噪声比和影响来计算参与者的最佳加权贡献。我们进一步得出表达式,以估计提出方法收敛所需的通信回合数。最后,实验结果证明了拟议方法对现有技术的有效性,从交流回合和在建筑环境中实现了性能。
translated by 谷歌翻译
随着人们的生活水平的增强和通信技术的快速增长,住宅环境变得聪明且连接,从而大大增加了整体能源消耗。由于家用电器是主要的能源消费者,因此他们的认可对于避免无人看管的用途至关重要,从而节省了能源并使智能环境更可持续。传统上,通过从客户(消费者)收集通过智能插头记录的电力消耗数据,在中央服务器(服务提供商)中培训设备识别模型,从而导致隐私漏洞。除此之外,当设备连接到非指定的智能插头时,数据易受嘈杂的标签。在共同解决这些问题的同时,我们提出了一种新型的联合学习方法来识别设备识别,即Fedar+,即使使用错误的培训数据,也可以以隐私的方式跨客户进行分散的模型培训。 Fedar+引入了一种自适应噪声处理方法,本质上是包含权重和标签分布的关节损耗函数,以增强设备识别模型的能力,以抵制嘈杂标签。通过将智能插头部署在公寓大楼中,我们收集了一个标记的数据集,该数据集以及两个现有数据集可用于评估Fedar+的性能。实验结果表明,我们的方法可以有效地处理高达$ 30 \%$的嘈杂标签,同时以较大的准确性优于先前的解决方案。
translated by 谷歌翻译
触觉是人类敏捷的基础。当模仿机器人触摸(尤其是使用软光学触觉传感器)时,由于运动依赖性剪切而遭受失真。这使触觉任务复杂化,例如形状重建和探索,需要有关接触几何的信息。在这项工作中,我们采用半监督的方法来删除剪切,同时保留仅接触信息。我们通过显示模型生成的未切除图像与它们的对应物之间的匹配来验证我们的方法。模型生成的未切除图像给出了忠实的接触几何形状的重建,否则将剪切掩盖,以及对物体姿势的强大估计,然后用于滑动探索和对几种平面形状的全面重建。我们表明,我们的半监督方法的性能与在所有验证任务中的全面监督对等方面的性能相当,而监督的监督较少。因此,半监督方法更加计算和标记样品效率。我们预计,它将对通过剪切敏感的触觉执行的各种复杂触觉探索和操纵任务具有广泛的适用性。
translated by 谷歌翻译
机器学习的回归分支纯粹集中于连续值的预测。监督学习分支具有许多基于回归的方法,具有参数和非参数学习模型。在本文中,我们旨在针对与基于距离的回归模型相关的非常微妙的点。所使用的基于距离的模型是K-Nearest邻居回归器,它是一种监督的非参数方法。我们要证明的观点是模型的k参数的效果及其影响指标的波动。我们使用的指标是根平方误差和R平方拟合的优点,其值相对于K值的值表示。
translated by 谷歌翻译